我们提出了一种依赖工程点扩散功能(PSF)的紧凑型快照单眼估计技术。微观超分辨率成像中使用的传统方法,例如双螺旋PSF(DHPSF),不适合比稀疏的一组点光源更复杂的场景。我们使用cram \'er-rao下限(CRLB)显示,将DHPSF的两个叶分开,从而捕获两个单独的图像导致深度精度的急剧增加。用于生成DHPSF的相掩码的独特属性是,将相掩码分为两个半部分,导致两个裂片的空间分离。我们利用该属性建立一个基于紧凑的极化光学设置,在该设置中,我们将两个正交线性极化器放在DHPSF相位掩码的每一半上,然后使用极化敏感的摄像机捕获所得图像。模拟和实验室原型的结果表明,与包括DHPSF和Tetrapod PSF在内的最新设计相比,我们的技术达到了高达50美元的深度误差,而空间分辨率几乎没有损失。
translated by 谷歌翻译
Multi-Exit models (MEMs) use an early-exit strategy to improve the accuracy and efficiency of deep neural networks (DNNs) by allowing samples to exit the network before the last layer. However, the effectiveness of MEMs in the presence of distribution shifts remains largely unexplored. Our work examines how distribution shifts generated by common image corruptions affect the accuracy/efficiency of MEMs. We find that under common corruptions, early-exiting at the first correct exit reduces the inference cost and provides a significant boost in accuracy ( 10%) over exiting at the last layer. However, with realistic early-exit strategies, which do not assume knowledge about the correct exits, MEMs still reduce inference cost but provide a marginal improvement in accuracy (1%) compared to exiting at the last layer. Moreover, the presence of distribution shift widens the gap between an MEM's maximum classification accuracy and realistic early-exit strategies by 5% on average compared with the gap on in-distribution data. Our empirical analysis shows that the lack of calibration due to a distribution shift increases the susceptibility of such early-exit strategies to exit early and increases misclassification rates. Furthermore, the lack of calibration increases the inconsistency in the predictions of the model across exits, leading to both inefficient inference and more misclassifications compared with evaluation on in-distribution data. Finally, we propose two metrics, underthinking and overthinking, that quantify the different behavior of practical early-exit strategy under distribution shifts, and provide insights into improving the practical utility of MEMs.
translated by 谷歌翻译
The ability to effectively reuse prior knowledge is a key requirement when building general and flexible Reinforcement Learning (RL) agents. Skill reuse is one of the most common approaches, but current methods have considerable limitations.For example, fine-tuning an existing policy frequently fails, as the policy can degrade rapidly early in training. In a similar vein, distillation of expert behavior can lead to poor results when given sub-optimal experts. We compare several common approaches for skill transfer on multiple domains including changes in task and system dynamics. We identify how existing methods can fail and introduce an alternative approach to mitigate these problems. Our approach learns to sequence existing temporally-extended skills for exploration but learns the final policy directly from the raw experience. This conceptual split enables rapid adaptation and thus efficient data collection but without constraining the final solution.It significantly outperforms many classical methods across a suite of evaluation tasks and we use a broad set of ablations to highlight the importance of differentc omponents of our method.
translated by 谷歌翻译
医疗图像分类是图像识别领域中最关键的问题之一。该领域的主要挑战之一是缺乏标记的培训数据。此外,数据集通常会出现类不平衡,因为某些情况很少发生。结果,分类任务的准确性通常很低。特别是深度学习模型,在图像细分和分类问题上显示出令人鼓舞的结果,但它们需要很大的数据集进行培训。因此,需要从相同分布中生成更多的合成样品。先前的工作表明,特征生成更有效,并且比相应的图像生成更高。我们将此想法应用于医学成像领域。我们使用转移学习来训练针对金标准班级注释的小数据集的细分模型。我们提取了学习的功能,并使用它们使用辅助分类器GAN(ACGAN)来生成在类标签上进行调节的合成特征。我们根据其严重程度测试了下游分类任务中生成特征的质量。实验结果表明,这些生成特征的有效性及其对平衡数据和提高分类类别的准确性的总体贡献的结果有希望的结果。
translated by 谷歌翻译
可以使用医学成像数据研究人类解剖学,形态和相关疾病。但是,访问医学成像数据受到治理和隐私问题,数据所有权和获取成本的限制,从而限制了我们理解人体的能力。解决此问题的一个可能解决方案是创建能够学习的模型,然后生成以相关性的特定特征(例如,年龄,性别和疾病状态)来生成人体的合成图像。最近,以神经网络形式的深层生成模型已被用于创建自然场景的合成2D图像。尽管如此,数据稀缺性,算法和计算局限性仍阻碍了具有正确解剖形态的高分辨率3D体积成像数据的能力。这项工作提出了一个生成模型,可以缩放以产生人类大脑的解剖学正确,高分辨率和现实的图像,并具有必要的质量,以允许进一步的下游分析。产生潜在无限数据的能力不仅能够对人体解剖学和病理学进行大规模研究,而不会危及患者的隐私,而且还可以在异常检测,模态综合,有限的数据和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平和公平的学习领域进行显着提高。道德AI。代码和训练有素的模型可在以下网址提供:https://github.com/amigolab/synthanatomy。
translated by 谷歌翻译
从过去的经验中发现有用的行为并将其转移到新任务的能力被认为是自然体现智力的核心组成部分。受神经科学的启发,发现在瓶颈状态下切换的行为一直被人们追求,以引起整个任务的最小描述长度的计划。先前的方法仅支持在线,政策,瓶颈状态发现,限制样本效率或离散的状态行动域,从而限制适用性。为了解决这个问题,我们介绍了基于模型的离线选项(MO2),这是一个脱机后视框架,支持在连续的状态行动空间上发现样品效率高效瓶颈选项。一旦脱机而在源域上学习了瓶颈选项,它们就会在线转移,以改善转移域的探索和价值估计。我们的实验表明,在复杂的长途连续控制任务上,具有稀疏,延迟的奖励,MO2的属性至关重要,并且导致性能超过最近的选项学习方法。其他消融进一步证明了对期权可预测性和信用分配的影响。
translated by 谷歌翻译
仇恨言论以贬义的评论以多种形式针对社区,并使人类退后一步。 Hatexplain是最近出版的第一个数据集,用于以理由的形式使用带注释的跨度,以及语音分类类别和有针对性的社区,以使分类更具人性化,可解释,准确和偏见。我们调整BERT以理由和阶级预测的形式执行此任务,并比较我们对跨精度,解释性和偏见的不同指标的性能。我们的新颖性是三倍。首先,我们尝试具有不同重要性值的合并理由类损失。其次,我们对理由的地面真相注意值进行了广泛的实验。随着保守和宽大的关注,我们比较了hatexplain模型的性能并检验我们的假设。第三,为了改善模型中的意外偏见,我们使用目标社区单词的掩盖,并注意偏见和解释性指标的改善。总体而言,我们成功地实现了模型的解释性,偏差删除和对原始BERT实施的几个增量改进。
translated by 谷歌翻译
域的概括(DG)旨在学习通过使用来自多个相关源域的数据,其在测试时间遇到的看不见的域的性能保持较高的模型。许多现有的DG算法降低了表示空间中源分布之间的差异,从而有可能使靠近来源的看不见的域对齐。这是由分析的动机,该分析解释了使用分布距离(例如Wasserstein距离)与来源的分布距离(例如Wasserstein距离)的概括。但是,由于DG目标的开放性,使用一些基准数据集对DG算法进行全面评估是一项挑战。特别是,我们证明了用DG方法训练的模型的准确性在未见的域中,从流行的基准数据集生成的未见域有很大差异。这强调了DG方法在一些基准数据集上的性能可能无法代表其在野外看不见的域上的性能。为了克服这一障碍,我们提出了一个基于分配强大优化(DRO)的通用认证框架,该框架可以有效地证明任何DG方法的最差性能。这使DG方法与基准数据集的经验评估互补的DG方法无关。此外,我们提出了一种培训算法,可以与任何DG方法一起使用,以改善其认证性能。我们的经验评估证明了我们方法在显着改善最严重的损失(即降低野生模型失败的风险)方面的有效性,而不会在基准数据集上产生显着的性能下降。
translated by 谷歌翻译
尽管诸如HRNET之类的语义细分的最新架构表现出了令人印象深刻的准确性,但其出色的设计选择引起的复杂性阻碍了一系列模型加速工具,并且进一步利用了对当前硬件效率低下的操作。本文表明,具有类似于重新连接的主链和一个小的多尺度的简单编码器架构,比复杂的语义分割体系结构(例如HRNET,fovenet和ddrnets)表现出PAR或更好。由于这些骨干的有效接收场小得多,因此天真地将设计用于图像分类的深层骨架用于语义分割的任务会导致低于PAR的结果。在HRNET,DDRNET和FANET等作品中提出的各种设计选择中,隐含的是具有较大有效接收场的网络。自然要问一个简单的编码器架构是否会比较如果没有较大的有效接受场的骨架,尽管不使用效率低下的操作(例如扩张的卷积)。我们表明,通过对重新结构进行较小且廉价的修改,可以为语义分割创建非常简单和竞争的基线。我们为台式机和移动目标提供了如此简单的体系结构的家庭,它们匹配或超过CityScapes数据集中复杂模型的性能。我们希望我们的工作为从业者提供了简单而有效的基线,以开发有效的语义细分模型。
translated by 谷歌翻译
生成的对抗网络(GAN)是在众多领域成功使用的一种强大的深度学习模型。它们属于一个称为生成方法的更广泛的家族,该家族通过从真实示例中学习样本分布来生成新数据。在临床背景下,与传统的生成方法相比,GAN在捕获空间复杂,非线性和潜在微妙的疾病作用方面表现出增强的能力。这篇综述评估了有关gan在各种神经系统疾病的成像研究中的应用的现有文献,包括阿尔茨海默氏病,脑肿瘤,脑老化和多发性硬化症。我们为每个应用程序提供了各种GAN方法的直观解释,并进一步讨论了在神经影像学中利用gans的主要挑战,开放问题以及有希望的未来方向。我们旨在通过强调如何利用gan来支持临床决策,并有助于更好地理解脑部疾病的结构和功能模式,从而弥合先进的深度学习方法和神经病学研究之间的差距。
translated by 谷歌翻译